En los últimos años, los modelos de lenguaje a gran escala (LLM) han logrado avances significativos en el campo del procesamiento del lenguaje natural (PNL), con amplias aplicaciones en generación de texto, resumen y preguntas y respuestas. Sin embargo, estos modelos se basan en un método de procesamiento a nivel de token que predice palabra por palabra, lo que dificulta la comprensión del contexto y, a menudo, produce resultados inconsistentes. Además, la ampliación de los LLM a aplicaciones multilingües y multimodales presenta un alto coste computacional y una elevada demanda de datos. Para abordar estos problemas, Meta AI propone un nuevo método